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Bescheinigung 

Heir Dipl.-Phys. Christian E c k e s in Kierspe/Deutschland, Herr Dipl.-lnform. 
Michael R i n n e in Dortmund/Deutschland, Frau Dipl.-lng. Efthimia K e f a I e a, 
die Herren Professor Dr. Christoph von der Malsburg, Dipl.-Phys. Michael 
P 6 t z s c h , Dipl.-Phys. Jochen T r i e s c h und Dr. Jan C. Vorbruggen, 
alle in Bochum/Deutschland, haben eine Patentanmeldung unter der Bezeichnung 

"Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen" 

am 14. August 1998 beim Deutschen Patent- und Markenamt eingereicht. 

Die angehefteten Stucke sind eine richtige und genaue Wiedergabe der ursprungli- 
chen Unterlagen dieser Patentanmeldung. 

Die Anmeldung hat im Deutschen Patent- und Markenamt vorlaufig die Symbole 
G 06 K und G 07 C der International Patentklassifikation erhalten. 



Munchen, den 23. September 1999 
Deutsches Patent- und Markenamt 
Den President 
Inj Auftrag 



Aktenzeichen: 198 37 004.0 




H/ebinger 
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VERFAHREN ZUM AUTOMATISIERTEN ERKENNEN EINER ODER MEHRERER 
STRUKTUREN IN DIGITALISIERTEN BILDDATEN 



Gebiet der Erfindung 



Die Erfindung betrifft ein Verfahren zum automatisierten Erkennen einer oder meh- 
rerer Strukturen bzw. eines oder mehrerer Objekte in digitalisierten Bilddaten. 



Stand der Technik 



Verfahren zum automatisierten Erkennen eines Objekts in digitalisierten Bilddaten 
sind im Stand der Technik bekannt. 

So ist beispielsweise aus der DE 44 06 020 ein Verfahren zur Gesichtserkennung 
bekannt. GemaS diesem Verfahren werden aus einem digitalisierten Bild mit Gabor- 
filtern verschiedener GroGe und Orientierung, sogenannte Jets extrahiert, die an 
den Knoten eines verschiebbaren, skalierbaren und deformierbaren Gitters ange- 



des Gitters assoziierten Jets, werden mit einem Referenzgraphen, der die zu erken- 
nende Struktur umfaSt, verglichen. Hierzu wird die optimale Form des Gitters durch 
eine zweistufige Optimierung einer Graphenvergleichsfunktion bestimmt. In der er- 
sten Phase werden GrQBe und Position des Graphen simultan optimiert; in der 
zweiten Phase wird die intrinsische Form des Graphen optimiert. 

Es hat sich allerdings gezeigt, daG ein erfolgreiches Erkennen einer Struktur oder 
eines Objekts mit diesem Verfahren sehr stark von der Qualitat, insbesondere der 
Beschaffenheit des Hintergrunds. der Bilddaten, welche die zu erkennende Struktur 
beinhalten, abhangt. So konnen mit diesem Verfahren zwar gute Ergebnisse erzielt 
werden, wenn die Struktur und das Objekt vor einen neutralen Hintergrund aufge- 
nommen worden sind. In Anwendungen, in denen es jedoch nicht moglich ist, die 
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Bilddaten vor einem neutralen Hintergrund aufzunehmen, konnen bei dem bekann- 
ten Verfahren allerdings Probleme auftreten, die letztlich dazu fuhren konnen, dafc 
Strukturen und Objekte nur mangelhaft erkannt werden. 

Aus dem Gebiet der Gesichtserkennung, ist ein weiteres Verfahren bekannt, bei 
dem der Vergleich zwischen dem mit einer Videokamera aufgenommenen Bild eines 
Kopfes und mehreren in einer Datenbank in gespeicherten Bildern von Kopfen 
durch einen flexiblen Abbildungsmechanismus realisiert wird, wobei die bestmogli- 
che Abbildung durch ein Optimierungsverfahren bestimmt wird (siehe Lades et al. t 
IEEE Transactions on Computers, 42, 300-311). 

Ein Nachteil dieses Verfahrens, ist es allerdings, daft das Verfahren nicht zur Bear- 
beitung groGer Datenmehgen geeignet scheint. So konnten Lades et al. zwar ein 
Bild eines Kopfes aus einer Datenbank, die aus Bildern von 87 Personen bestand, 
erkennen; bei einer Vielzahl von Anwendungen ist allerdings mit wesentlich groBe- 
ren Referenzdatenbanken zu rechnen. 

Daruber hinaus wurde das Verfahren von Lades et al. nur mit einer speziellen 

H ardware-Ko nfiguration^namlich^mitTransputern^dvh^mit-mehreren-in vorbe- 

stimmter Weise miteinander verschalteten Mikroprozessoren, realisiert. 

Angesichts dieser Nachteile der Verfahren gemad dem Stand der Technik liegt der 
Erfindung die Aufgabe zugrunde, die bekannten Verfahren dahingehend zu verbes- 
sern, daS ihre Robustheit gegenuber weniger optimalen Bilddaten im Vergleich zum 
bekannten Verfahren erhoht wird, wobei zusatzlich gewahrleistet sein soil, daS das 
Verfahren mit herkommlichen Mitteln realisiert werden kann. 



Beschreibung der Erfindung 

Diese oben stehende Aufgabe wird gelost durch ein Verfahren zum automatisierten 
Erkennen einer oder mehrerer Strukturen in digitalisierten Bilddaten mit den Schrit- 
ten: 

(a) Zurverfugungstellen wenigstens eines Referenzgraphen aus digitalisierten 
Referenzbilddaten entsprechender Referenzbilder, wobei der oder jeder Referenz- 
<jraph eine netzartige Struktur, die jeweils dadurch definiert wird, daS bestimmten 
Referenzbilddaten Knoten, die durch Links in vorbestimmter Weise miteinander ver- 
bunden sind, zugewiesen werden, und Jets umfaSt, wobei jedem Knoten ein Jet 
zugeordnet ist und jeder Jet wenigstens einen Teiljet umfaSt, der durch Faltungen 
wenigstens einer Klasse von Filterfunktionen mit verschiedenen GroSen und/oder 
Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an 
dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von Filter- 
funktionen mit verschiedenen GrQBen und/oder Orientierungen mit farbsegmentier- 
ten Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten 
Knoten oder durch Farbinformation uber die Referenzbilddaten an dem bestimmten 

_Knoten-oder-durch-mit-statistischen-Verfahren-gewonnenen-Texturbeschreibungen-- 
der Referenzbilddaten an dem bestimmten Knoten oder durch aus zeitlich aufeinan- 
derfolgenden Referenzabbildungen extrahierten Bewegungsvektoren an dem be- 
stimmten Knoten ermittelt wird, 

(b) Ermitteln eines optimalen Bildgraphen aus den digitalisierten Bilddaten fur 
jeden Referenzgraphen, wobei der optimale Bildgraph fur einen bestimmten Refe- 
renzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch ein 
Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in die Bildda- 
ten, wodurch die Struktur des Bildgraphen definiert wird, und Ermitteln von Teiljets 
des Bildgraphen an den durch seine Struktur definierten Knoten, wobei die Teiljets 
mindestens einem Teil der ermittelten Teiljets des bestimmten Referenzgraphen 
entsprechen, und wobei die Projektion der netzartigen Struktur des bestimmten Re- 
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ferenzgraphen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche 
die Jets des Bildgraphen mit den entsprechenden Jets des bestimmten Referenz- 
graphen vergleicht, optimal wird, 

(c) Zuordnen der oder jeder Struktur zu dem Referenzbild, das dem Referenzgra- 
phen entspricht, fur den die Graphenvergleichsfunktion in Bezug auf den fur ihn er- 
mittelten optimalen Bildgraphen optimal ist. 

Durch dieses Verfahrens kann gleichzeitig qualitativ unterschiedliche Bildinformati- 
on, wie sie beispielsweise Faltungen der Klasse/Klassen von Filterfunktionen mit 
beliebigen GroSen und/oder Orientierungen mit den Bilddaten und/oder Faltungen 
der Klasse/Klassen von Filterfunktionen mit beliebigen GroSen und/oder Orientie- 
rungen mit farbsegmentierten Bilddaten und/oder Farbinformation uber die Bilddaten 
und/oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen der 
Bilddaten und/oder durch aus zeitlich aufeinanderfolgenden Abbildungen extrahier- 
ten Bewegungsvektoren darstellen, genutzt werden. Dies fuhrt dazu, daS gegenuber 
dem Stand der Technik eine verbesserte Strukturerkennungsrate verwirklicht wer- 
den kann. 



Aufcerdem laBt sich durch die Kombination qualitativ unterschiedlicher Bildinformati- 
on eine hohere Robustheit gegenuber den aus dem Stand der Technik bekannten 
Verfahren erzielen. 

GemaB einer Weiterbildung der Erfindung konnen weiterhin mehrere Referenzgra- 
phen zur Verfugung gestellt werden, und diejenigen Referenzgraphen, welche netz- 
artige Strukturen aufweisen, die topologisch identisch sind, d.h. sich nur durch die 
Langen einander entsprechender Links unterscheiden, konnen zu einem Referenz- 
bundelgraphen zusammengefalit werden. Ein derartiger Referenzbundelgraph um- 
faSt hierbei eine netzartige Struktur, die durch Knoten, welche den Knoten der Refe- 
renzgraphen entsprechen, und durch Links, die durch Mittelung der entsprechenden 



Links der Referenzgraphen ermittelt werden, definiert wird, und Biindeljets, wobei 
jeder Bundeljet aus den Teiljets, die den Jets an den jeweiligen Knoten der in dem 
Referenzbundelgraphen zusammengefaSten Referenzgraphen entsprechen, zu- 
sammengesetzt wird. Weiterhin wird gemaS dieser Weiterbildung ein optimaler Bild- 
graph fur den Oder jeden Referenzbundelgraphen ermittelt. Hierbei stellt der opti- 
male Bildgraph fur einen bestimmten Referenzbundelgraphen die optimale Anpas- 
sung an diesen dar und wird ermittelt durch ein Projizieren der netzartigen Struktur 
des bestimmten Referenzbundelgraphen in die Bilddaten, wodurch die Struktur des 
Bildgraphen definiert wird, und ein Ermitteln von Teiljets, die mindestens einem Teil 
der Teiljets entsprechen, die zur Ermittlung der Teiljets der dem bestimmten Refe- 
renzbundelgraphen zugrunde liegenden Referenzgraphen verwendet worden sind. 
Weiterhin wird die Projektion der netzartigen Struktur des bestimmten Referenzbun- 
delgraphen, so lange variiert, bis eine Graphenvergleichsfunktion, welche die Jets 
des Bildgraphen mit den entsprechenden Bundeljets des bestimmten Referenzbun- 
delgraphen vergleicht, optimal wird, wobei Teiljets des Bildgraphen mit Teiljets in 
dem entsprechenden Bundeljet des bestimmten Referenzbundelgraphen verglichen 
wird. SchlieBlich wird jede Struktur dem Referenzbild zugeordnet, das dem Refe- 
renzgraphen bzw. dem Referenzgraphen aus dem Oder den Referenzbundelgra- 

phen entspricht, fur den die Graphenvergleichsfunktion in Bezu g auf den fur ihn er- 

mittelten optimaleh Bildgraphen optimal ist. 

Durch die Verwendung von Referenzbundelgraphen konnen bei gleicher Anzahl von 
Referenzbildern die Menge der fur den Vergleich zur Verfugung stehenden Struktu- 
ren erhoht werden, Oder anders ausgedrtickt erlaubt es ein Referenzbundelgraph 
eine komplexe Strukturobjektklasse mit wenigen Beispielen zu reprasentieren. Au- 
Serdem konnen durch Referenzbundelgraphen solche Strukturobjektklassen durch 
Beispiele von Individuen modelliert werden. 

Hierbei kann, in Abhangigkeit von der jeweiligen Anwendung, also von den zu er- 
kennenden Strukturen, lediglich ein Teil der zur Verfugung gestellten Referenzgra- 
phen zu einem oder zu mehreren ReferenzbOndelgraphen zusammengefa&t wer- 
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den. Hierdurch konnen Sonderfalle innerhalb einer Objektklasse separat behandelt 
werden oder unberucksichtigt bleiben. 

Alternativ lassen sich auch alle zur Verfugung gestellten Referenzgraphen zu einem 
oderzu mehreren Referenzbundelgraphen zusammenfassen. 

Die vorstehend beschriebenen Verfahren konnen derart weitergebildet werden, daft 
die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, 
vom jeweiligen Knoten abhangig ist. 

Hierdurch la&t sich ein a priori Wissen uber die zu erkennenden Strukturen ausnut- 
zen. So kann beispielsweise bestimmte Bildinformation nur in einem Bereich, in dem 
sie tatsachlich signifikant ist, ausgewertet werden. Weiterhin konnen beispielsweise 
Kantenfiiter am Strukturrand eingesetzt werden. 

Alternativ kann die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets 
bestimmt ist, fur alle Knoten identisch sein. 

Die se Weiterbildung zeichnet sich insbesondere dadurch aus._daR sie^eine-homo^ 
gene Datenstruktur aufweist. Demnach kann das Verfahren durch eine relativ einfa- 
che Hard- und/oder Softwareimplementierung realisiert werden. 

In den zuvor beschriebenen Verfahren la&t sich vorteilhafterweise eine Graphenver- 
gleichsfunktion einsetzen, die eine Jetvergleichsfunktion umfalit, welche die Ahn- 
lichkeit der einander entsprechenden Jets berucksichtigt. 

Dariiber hinaus kann die Graphenvergleichsfunktion eine Vergleichsfunktion fur die 
netzartige Struktur umfassen, welche die metrische Ahnlichkeit des Bildgraphen mit 
dem entsprechenden Referenzgraphen bzw. dem entsprechenden Referenzbundel- 
graphen berucksichtigt. ZweckmaSigerweise wird die Graphenvergleichsfunktion in 
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diesem Fall als gewichtete Summe der Jetvergleichsfunktion und der Vergleichs- 
funktion fur die netzartige Struktur definiert. 



Die Jetvergleichsfunktion kann als Funktion von Einzeljetvergleichsfunktionen ein- 
ander entsprechender Jets definiert werden. 

Hierzu kann die Jetvergleichsfunktion vorteilhafterweise als gewichtete Summe aus 
den Einzeljetvergleichsfunktionen und/oder als gewichtetes Produkt aus den Ein- 
zeljetvergleichsfunktionen definiert werden. 

ZweckmaGigerweise lassen sich zur Ermittlung eines Einzeljetvergleichs Teiljets der 
entsprechenden Jets berucksichtigen, und eine Einzeljetvergleichsfunktion als 
Funktion von Teiljetvergleichsfunktionen definieren. 

Vorteilhafterweise kann die Einzeljetvergleichsfunktion als gewichtete Summe der 
Teiljetvergleichsfunktionen und/oder als gewichtetes Produkt der Teiljetvergleichs- 
funktionen. 

Jnsbes^nd.e^konne^auch-unterschiedliche.-knotenabhangige bzw-Einzeljetver- — 
gleichsfunktionen bzw. Teiljetvergleichsfunktionen eingesetzt werden. 

Im Zusammenhang mit den obenbeschriebenen Referenzbundelgraphen konnen 
die Bundeljets des Referenzbundelgraphen B M in Teilbundeljets £ geteilt werden, 
und die Jetvergleichsfunktion zwischen den Teilbundeljets jjf des Referenzbundel- 
graphen und den entsprechenden Teiljets j„' des Bildgraphen G' fur n Knoten fur m 
Rekursionen gemaR folgender Formeln berechnet werden: 

S Jet (B M ,G t ) = Xco n S n (B^,J n 1 ),oder 

n 

S Jet (B M .G') = n<S n (B?. Jn 1 ))- , wobei 
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co n ein Wichtungsfaktor fur den n-ten Knoten n ist und die Vergleichsfunk- 
tion S n (B",J n ') fur den n-ten Knoten des Referenzbundelgraphen mit 
dem n-ten Knoten des Bildgraphen gegeben ist durch: 

S(B M ,J , ) = Q({S kl (br,j l ')})=:a(M), mit 
Q(M) = ^co i Q< 1) (M[ 1) ), Oder 

i 

D(M) = n(Q[ 1) (M< 1> )) u ',oder 
Q(M) = max{co .n™ (M< 1) )} , oder 

Q(M) = min{co i QP ) (M< 1) )} , wobei U M< 1) = M 



Q[ m - 1) (M[ m " 1) ) = 52a>j05 m> (M5 m> ). Oder 
i 

— n[ m ^ r (M< i) )^n(Qj w) wr ) ")) <0 ' . o der " 

Q (m-1) (M (m-1) j = j,,, («•) (M (m) >} _ oder 

Q[ m - 1) (M[ m - 1) ) = m.in{co i Qj ,n, (Mj m) )} , wobei U M j m) = M [ m " 1) und mit 
1 i 

S(b M ,j , ) = 2«nS n (j^j'),oder 

n 

S(b M ,j') = ]n[(S n (j^j , )r",oder 

n 

S(b M .j , ) = max{co n S n (j^,j , )},oder 
S(b^n = mjn{co n S n (jn.j')}- 



In diesem Fall konnen die TeilbQndeljets des Oder der Referenzbundelgraphen nur 
Merkmale enthalten, die durch Faltungen wenigstens einer Klasse von Filterfunktio- 
nen mit verschiedenen GroRen und/oder Orientierungen mit den Referenzbilddaten 
des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltun- 
gen wenigstens einer Klasse von Filterfunktionen mit verschiedenen GroGen 
und/oder Orientierungen mit farbsegmentierten Referenzbilddaten des entspre- 
chenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation 
uber die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen 
Verfahren gewonnenen Texturbeschreibungen des entsprechenden Referenzbildes 
an dem bestimmten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenz- 
bildern extrahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt wor- 
den sind. 



Alternativ konnen die TeilbQndeljets des oder der Referenzbundelgraphen nur 
Merkmale enthalten, die aus einem Referenzgraphen resultieren. 

Daruber hinaus J<Qnnen-die_TeilbQndeljets-des-oder-der-Referenzgrpahenbundel — 
auch Mischungen aus diesen beiden zuvor genannten Merkmalen umfassen. 

Diese unterschiedlichen Vergleichsfunktionen ermoglichen es, das Verfahren an- 
wendungsorientiert so zu optimieren, daB eine m6glichst hohe Erkennungsrate und 
eine moglichst hohe Geschwindigkeit erzielt wird. 

GemaB einer bevorzugten Weiterbildung der oben beschriebenen Verfahren kann 
nach dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Er- 
kennung vorgesehen werden. Hierzu kann beispielsweise ein Schatzer verwendet 
werden, der sowohl die optimale Graphenvergleichsfunktion als auch die nicht opti- 
malen Graphenvergleichsfunktionen berucksichtigt. 



Besonders zeichnet sich hierbei ein Schatzer aus, bei dem der Abstand der Werte 
der nicht optimalen Graphenvergleichsfunktionen von dem Wert der optimalen Gra- 
phenvergleichsfunktion ermittelt wird. 

Durch diese MaSnahmen email man neben der Objekt- bzw. Stmkturerkennung 
auch ere Angabe iiber die Qualitat der Strukturerkennung. 

GemaS einer weiteren vorteilhaften Weiterbildung der zuvor genannten Verfahren 
kann jede Struktur den Referenzbildern zugeordnet werden. die den Referenzgra-' 
Phen bzw. den Referenzgraphen aus den Referenzbundelgraphen entsprechen fur 
d,e d,e Werte der Graphenvergleichsfunktionen in einem vorbestimmten Bereich 
hegen. Falls die Werte nicht in dem vorbestimmten Bereich liegen. bedeutet dies 
da B e,ne Stmktur nicht hinreichend identifiziert werden kann. Demnach eignet sich 
d,ese Weiterbildung ffir Anwendungen, in denen aufgrund des Erkennungsvorgangs 
Entscheidungen getroffen werden sollen. wie beispieisweise bei einer Zugangskon- 
trolle. 

Vorteilhafterweise kann in den v orstehend besc hriebenen Verfahren die Farbinfor_ 
mat,on-aus den-Rsferenzlfflddaten bzw. den Bilddaten ermittelte Farbtonwerte 
und/oder Farbsattigungswerte und/oder Helligkeitswerte umfassen. 

Obwohl die Referenzgraphen bzw. die Referenzbundelgraphen vorjeder Anwen- 
dung neu berechne. werden konnen, was bei Anwendungen zweckmaGig 1st, in den 
s,ch die Referenzdaten haufig andern, insbesondere aktualisiert werden, ist es in 
den me.sten Anwendungen zweckmSSig, daB der Schritt des Zurverfugungstellens 
der Referenzgraphen bzw. der Referenzbundelgraphen das Abrufen der Referenz- 
graphen bzw. der Referenzbundelgraphen aus einer zentralen Datenbank und/oder 
emer dezentralen Datenbank. wie beispieisweise von Chipkarten. umfaGt 



in den oben beschriebenen Verfahren kann gemaa einer bevorzugten Weiterbildung 



• • • 

♦ • 



• • • • • * 



• • • 

• ♦ 



die netzartige Struktur des Referenzgraphen in Form eines regelmaSigen Gitters 
verwendet werden, dessen Knoten und Links rechtwinklige Maschen bilden. 

Alternativ kann als netzartige Struktur des Referenzgraphen ein unregelmaSiges 
Gitter verwendet wird, dessen Knoten und Links an die zu erkennende Struktur an- 
gepaSt sind. Hierbei konnen den Knoten charakteristische Punkte, sogenannten 
Landmarken, der zu erkennenden Struktur zugeordnet werden. 

In dieser Weiterbildung werden die Jets demnach an den charakteristischen Punk- 
ten der Struktur ermittelt. Dadurch werden in erster Linie die charakteristischen 
Punkte beim Vergleich der Bilddaten mit den Referenzdaten berucksichtigt, wodurch 
die Signifikanz, mit der eine Struktur erkannt wird, erhoht werden kann. 

Vorzugsweise kdnnen in den oben beschriebenen Verfahren als Klasse der Filter- 
funktionen zur Faltung mit den Referenzbilddaten bzw. Bilddaten und/oder als Klas- 
se der Filterfunktionen zur Faltung mit den farbsegmentierten Referenzbilddaten 
bzw. Bilddaten Gabor-Filterfunktionen und/oder Mallat-Filterfunktionen verwendet 
werden. 



Gemafi einer bevorzugten Weiterbildung der beschriebenen Verfahren kann die 
Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des be- 
stimmten Referenzbundelgraphen eine Zentrierung des Referenzgraphen bzw. des 
bestimmten Referenzbundelgraphen in der Abbildung umfassen. 

Es hat sich weiterhin als vorteilhaft erwiesen, wenn die Projektion der netzartigen 
Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbundel- 
graphen eine Verschiebung und/oder eine Drehung des zentrierten Referenzgra- 
phen bzw. des zentrierten Referenzbundelgraphen umfaSt. 

Hierdurch kann ein Erkennen der Struktur beschleunigt werden. 
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Insbesondere kann die Projektion der netzartigen Struktur des bestimmten Refe- 
renzgraphen bzw. des bestimmten Referenzbundelgraphen eine Skalierung des 
zentrierten Referenzgraphen bzw. des zentrierten Referenzbundelgraphen umfas- 
sen. Hierdurch kann insbesondere die Signifikanz und Geschwindigkeit eines Er- 
kennens erhoht werden, wenn die zu erkennende Struktur in den Bilddaten und den 
Referenzdaten eine unterschiedliche GroSe aufweist. 

Die Verschiebung und/oder die Drehung sowie die Skalierung des zentrierten Refe- 
renzgraphen bzw. des zentrierten Referenzbundelgraphen konnen hierbei simultan 
durchgefuhrt werden, wodurch das Erkennen einer Struktur beschleunigt werden 
kann. 

Weiterhin kann die Projektion der netzartigen Struktur lokale Verzerrungen des zen- 
trierten Referenzgraphen umfassen. Diese Ausfuhrung eignet sich insbesondere, 
wenn Bilddaten und Referenzdaten unter verschiedenen Aufnahmewinkeln aufge- 
nommen worden sind. 

Eine derartige lokale Verzerrung kann zweckmaBigerweise durch eine lokale Ver- 

— schiebung-eines-entsprechenden Knotens-des zentrierten-Referenzgraphen bewirkt 

werden. 

Vorteilhafterweise konnen die Verschiebung bzw. die Skalierung bzw. die Drehung 
aus dem Vergleich des Bildgraphen mit dem entsprechenden Referenzgraphen bzw. 
dem entsprechenden Referenzbundelgraphen ermittelt werden. Dies fuhrt zu einer 
wesentlichen Erhohung der Geschwindigkeit des Erkennens. 

Weitere bevorzugte Ausgestaltungen ergeben sich aus den Unteranspruchen sowie 
aus der Beschreibung bevorzugter Ausfuhrungsformen des erfindungsgemaden 
Verfahrens, die im folgenden unter Bezugnahme auf die Zeichnung beschrieben 
werden. 



In der Zeichnung zeigen: 



Fig. 1 eine Abbildung einer Handstellung mit einem Referenzgraphen zur Er- 
lauterung einer Ausfuhrungsform der Erfindung; 

Fig. 2 den Referenzgraphen von Fig. 1; 

Fig. 3 eine schematische Darstellung zur Ermittlung eines Graphen aus einer 
Referenzabbildung gemaS einer Ausfuhrungsform der Erfindung; 

Fig. 4 eine schematische Darstellung zur Erlauterung einer weiteren Ausfuh- 
rungsform der Erfindung; 

Fig. 5 Abbildungen von Handstellungen, aus denen eine Referenzgraphen- 
Datenbank ermittelt wurde; 

Fig. 6 Beispiele von Abbildungen einer Handstellung mit verschiedenen Hin- 

tergrunden^die-mitden-Abbildungen-von-Fig^^mittels-einer Ausfuhrung 

des erfindungsgema&en Verfahrens verglichen wurde. 

Im folgenden werden die verschiedenen Ausfuhrungsformen der Erfindung an- 
hand eines Verfahrens zum Erkennen der Stellung einer Hand, im folgenden als 
Handstellung bezeichnet, beschrieben. Diese Beschreibung ist allerdings nicht als 
Einschrankung zu verstehen, sondern nur als ein Beispiel eines Verfahrens zum 
Erkennen von Strukturen bzw. Objekten in Abbildungen. 

In Fig. 1 ist als Beispiel eine Abbildung 20 einer Hand in einer bestimmten Stel- 
lung dargestellt. 
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Zur Durchfuhrung des erfindungsgemaSen Verfahrens muB die Abbildung 20 in 
digitalisierter Form vorliegen. Die digitalisierte Form kann hierbei entweder aus 
dem verwendeten Aufnahmeverfahren direkt resultieren, beispielsweise bei Ver- 
wendung einer CCD-Kamera, oder muR durch Konvertierung eines analogen Bil- 
des, wie beispielsweise einer herkommlichen Fotografie, digitalisiert werden. 

Ein digitalisiertes Bild liegt typischerweise in der Form eines Pixelfeldes einer 
vorbestimmten GroRe vor. Jedem Pixel ist hierbei eine horizontale und eine verti- 
kale Position x zugeordnet. Deshalb wird im folgenden unter dem Pixel x das 
Pixel verstanden, dem die Position x zugeordnet worden ist. Weiterhin ist jedem 
Pixel ein Grauwert und/oder Farbinformationswert, wie beispielsweise ein HSI- 
Wert zugewiesen. 

Aus der digitalisierten Abbildung 20 bzw. den der digitalisierten Abbildung ent- 
sprechenden Bilddaten wird nun im Rahmen des erfindungsgemaBen Verfahrens 
an vorbestimmten Pixeln lokale Bildinformation, sogenannte Merkmale, die ihrer- 
seits zu sogenannten Jets zusammengefa&t werden, extrahiert. Diese extrahier- 
ten Merkmale werden in Form eines Graphen angeordnet. 



Die vorbestimmten Pixel werden dadurch erhalten, dali zunachst eine netzformi- 
ge Struktur 21 , die im folgenden der Einfachheit halber als Gitter bezeichnet wird, 
in die Abbildung 20 projiziert wird. 

Wie aus Fig. 2, welche dieses Gitter 21 im Detail zeigt, ersichtlich, umfalit das in 
der ersten Ausfuhrungsform verwendete Gitter 15 Knotenpunkte 22a, 22b, 22c, 
und 19 Links, d.h. Verbindungen zwischen jeweils zwei Knotenpunkten. In Fig. 2 
sind die Links zwischen den Knotenpunkten 22a und 22b bzw. 22b und 22c mit 
den Bezugszeichen 23ab und 23bc versehen. 



SchlieBlich werden die vorbestimmten Pixel dadurch erhalten, daB die Pixel, die 
der Projektion der Knotenpunkte entsprechen, bestimmt werden. 



In der ersten Ausfuhrungsform wird ein objektangepaRtes Gitter verwendet, d.h. 
die Knotenpunkte werden charakteristischen Punkten in der Abbildung zugeord- 
net. Zum Erkennen der Stellung einer Hand sind die Knotenpunkte, wie in Fig. 1 
zu sehen ist, demnach den beiden Fingern und dem Handriicken zugeteilt. 

Die Erfindung ist allerdings nicht auf derartige objektangepaBte Gitter beschrankt. 
Es lassen sich vielmehr auch Gitter im eigentlichen Sinn, also regelmaSige Gitter 
verwenden. Die Entscheidung, welche Gitterform zweckmaSig ist, hangt von der 
jeweiligen Anwendung ab. ObjektangepaSte Gitterformen fuhren gegeniiber re- 
gelmaSicien Gittern in der Regel zu einer signifikanteren Erkennung, sind aller- 
dings in ihrer Handhabung komplizierter. 

In Fig. 3 ist eine schematische Darstellung gegeben, anhand der erkiart wird, wie 
man aus der Abbildung 20 eine Darstellung in Graphenform erhalt, die, wie noch 
eriautert wird, mit anderen Graphen, insbesondere mit Referenzgraphen, vergli- 
chen werden kann. 

Nachdem_durch_das--Gitter-bestimmte Pixel-festgelegt-sind^wie-in-FigT-3(a)-ge 

zeigt, wird die Extraktion der Merkmale in diesen Pixeln wie folgt durchgefuhrt. 

In der ersten Ausfuhrungsform werden zwei verschiedene Klassen 28 und 29 von 
Merkmalen zum Vergleich der Abbildung mit einer Referenzabbildung verwendet. 

Die erste Klasse von Merkmalen 28a 28i ist als das Ergebnis einer Faltung 

der Abbildung an einem vorbestimmten Pixel mit einer gegebenen Filterfunktion 
definiert. 

GemaS der ersten Ausfuhrungsform werden hierbei sogenannte komplexe Ga- 
bor-Filter als Filterfunktionen verwendet. Diese Filter lassen sich durch folgende 
Formel darstellen: 
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Die durch Gleichung (1) dargestellten Gabor-Filter haben die Form einer durch 
einen Wellenvektor kj beschriebenen ebenen Welle, die durch eine GauS- 
Funktion mit einer Breite a I k beschrankt ist t wobei a = 2n , Durch Wahl des 
Wellenvektors kj kann die GroBe und die Orientierung der Filterfunktion bestimmt 
werden. 

Daruber hinaus erfullen die Filterfunktionen die Bedingung: 



(2) 



In Fig. 3(c) sind mit 24a und 24b die Realteile zweier derartiger verschiedener 
Filterfunktionen dargestellt. Der Wert 0 ist hierbei durch ein mittleres Grau darge- 
stellt; positi^Werte^irTa"Reller und"negative"Werte sind dunkler. Die in Fig. 3(c) 
dargestellte Filterfunktion 24a hat hierbei eine niedrige Frequenz bzw. einen klei- 
nen Wellenvektor k } mit einer Orientierung von ungefahr 60 Grad gegenuber der 
Horizontalen. Die Filterfunktion 24b hat eine groRere Frequenz bzw. einen groBe- 
ren Wellenvektor kj mit einer Orientierung von ungefahr 90 Grad gegenuber der 
Horizontalen. 

Fur einen vorgegebenen Wellenvektor k r d.h. durch Wahl der GroSe und der 
Orientierung der Filterfunktion, lalit sich somit das Merkmal J^x) an einem vor- 
bestimmten Pixel x berechnen durch: 



J,(x) = XKx'Jvi/jCx-x'). 



(3) 



I (x) bezeichnet hierin die Intensitat. 

In Abhangigkeit von dem Wellenvektor kj konnen nun fur jedes Pixel x verschie- 
dene Merkmale J^x) berechnet werden, die in der ersten Ausfuhrungsform in ei- 
nem Teiljet fur das Pixel x zusammengefalSt werden. 

In den Abbildungen in Fig. 3(d), die mit 26a bzw. 26b bezeichnet sind, sind die 
Ergebnisse der Faltungen der Abbildung 20 mit den Filterfunktionen 24a bzw. 24b 
fur alle Pixel x gezeigt. 

Stellt man den Wellenvektor kj dar durch: 

fk cos6 ^ .rti - 



wobei v der GroSenindex und der Orientierungsindex der Filterfunktion sind, 
werden entsprechend der ersten Ausfuhrungsform die Merkmale fur die Indizes 
H e {0 7} und vejO 4} in einem Teiljet 28 des Jets 27 zusammengefaBt. 

Insgesamt umfa&t der Teiljet 28 fur das Pixel x somit n=40 Merkmale. 

In Fig. 3 ist ein Teil dieser Merkmale schematisch in dem Teiljet 28 dargestellt. 
Hierbei sind die Merkmale 28a, 28b und 28c durch eine Filterfunktionen mit kon- 
stanter GroRe und, wie durch die Schraffur dargestellt, mit unterschiedlicher Ori- 
entierung erhalten worden. Gleiches gilt fur die Merkmale 28d, 28e und 28f sowie 
28g, 28h und 28i. Im Vergleich zu den Merkmalen 28a, 28b und 28c resultieren 
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die Merkmale 28d, 28e und 28f sowie 28g ( 28h und 28i aus einer Faltung mit ei- 
ner kleineren Filterfunktion. 

Neben den oben beschriebenen Gabor-Filterfunktionen lassen sich auch beliebi- 
ge andere Filterfunktionen einsetzen. Als ein weiteres Beispiel einer Filterfunkti- 
onsklasse werden entsprechend einer weiteren Ausfuhrungsform der Erfindung 
sogenannte Mallat-Filter verwendet werden. 

Die Faltung der Abbildung mit diesen Mallat-Filtern laSt sich durch folgende For- 
mel darstellen: 

wobei * die Faltungsoperation bezeichnet, h und v fur horizontal und vertikal 
stehen und s s (sj = $ Q 2\\ eNj die Breite einer GauS-Funktion darstellt, deren Ab- 
leitungen als Filterfunktionen venA/endet werden. 

Die zweite Klasse von Merkmalen 29a, 29i ist als Ergebnis einer Faltung an 
einem vorbestimmten Pixel von Daten, die aus einer herkdmmlichen Farbraum- 
segmentierung der Bilddaten resultieren, mit einer gegebenen Filterfunktion defi- 
niert. Im vorliegenden Fall wurde die Farbraumsegmentierung beziiglich der 
Hautfarbe durchgefuhrt. Selbstverstandlich kann die Farbraumsegmentierung, in 
Abhangigkeit von der Anwendung bezuglich anderer Farben durchgefuhrt wer- 
den. In Fig. 3(b) sind die Bilddaten 22 nach der Farbraumsegmentierung darge- 
steilt. 

In der vorliegenden Ausfuhrungsform wurde die Faltung der farbraumsegmen- 
tierten Daten analog zur Faltung der Bilddaten, d.h. mit denselben Gabor-Filtern 
gleicher GroBe und Orientierung durchgefuhrt. Daher erubrigt sich eine detaillierte 
Beschreibung dieser Faltungsoperation und es wird in diesem Zusammenhang 
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auf die entsprechenden Abschnitte zur Faltung der Bilddaten mit den Gabor- 
Filtern verwiesen. 

In diesem Zusammenhang bleibt noch anzumerken, daB in Fig. 3(e) die mit den 
Filterfunktionen gefalteten farbraumsegmentierten Bilddaten dargestellt sind. Die 
Abbildungen 25a und 25b in Fig. 3(e) stellen hierbei die Realteile einer Faltung 
der farbsegmentierten Bilddaten mit den Filtern dar, deren Realteile in Fig. 3(c) 
mit 24a und 24b bezeichnet sind. 

Analog zu den durch Faltung der Bilddaten mit den Gabor-Filtern resultierenden 
Merkmale werden auch die durch Faltung der farbraumsegmentierten Bilddaten 
mit den Gabor-Filtern erhaltenen Merkmale in einem Teiljet 29 zusammengefaSt. 
Da der GroGenindex und der Orientierungsindex der Filterfunktionen in dieser 
Ausfuhrungsform wie oben beschrieben gewahlt worden ist, enthalt der Teiljet 29 

ebenfalls n=40 Merkmale fur das Pixel x, von denen die Merkmale 29a 29i 

reprasentativ dargestellt sind. 

Selbstverstandlich konnen auch in diesem Fall anstelle der Gabor-Filter andere 

Eilterfunktionen,_wie-beispielsweise-die-bereits-genannten-Mallat-Filter-eingesetzt- 
werden. 

Die Teiljets 28 und 29 bilden den Jet 27 in der ersten Ausfuhrungsform. Der Jet 
27 umfaSt in dieser Ausfuhrungsform schlieRlich 80 Merkmale. 

Fiihrt man die Extraktion der Merkmale an alien Gitterpunkten durch, erhalt man 
schlieRlich den erwunschten Graphen, der die Struktur des Gitters 21 widerspie- 
gelt und die Jets an den Punkten, die den Gitterpunkten entsprechen, aufweist. 

GemaS einer weiteren Ausfuhrungsform werden als zweite Klasse nicht die Fal- 
tungen der Filterfunktionen mit den farbsegmentierten Daten sondern aus den 
Bilddaten erhaltene Farbinformation, wie beispielsweise Farbton, Farbsattigung 



und Intensitat (HSI) fur das Pixel verwendet. Ein einzelner Jet setzt sich gemaS 
dieser Ausfuhrungsform demnach aus 40 Merkmalen, die aus der oben beschrie- 
benen Faltung der Bilddaten mit den Gaborfilterfunktionen resultieren und aus 
dem HSI-Tripel zusammen und umfaRt somit 43 Merkmale. 

Als Vergleichsfunktion zwischen zwei HSI-Tripeln wird zweckma&igerweise ein 
gewichteter euklid'scher Abstand im HSI-Farbraum verwendet. 

Daruber hinaus setzt sich in einer weiteren Ausfuhrungsform ein Jet aus drei 
Klassen zusammen. Die erste Klasse umfalit die Merkmale, die aus der Faltung 
der Bilddaten mit den Gabor-Filtern resultieren (Gabor-Merkmale); die zweite 
Klasse umfaSt die Merkmale, die aus der Faltung der farbraumsegmentierten 
Bilddaten mit den Gabor-Filtern resultieren (Farbgabor-Merkmale); und die dritte 
Klasse umfalit die aus den Bilddaten gewonnenen HSI-Tripel (Farbinformation). 

Gemafi einer weiteren Ausfuhrungsform kann alternativ oder zusatzlich zu den oben 
beschriebenen Klassen eine Texturbeschreibung, die durch statistische Verfahren 
gewonnen wird, verwendet werden. Derartige Texturbeschreibungen sind beispiels- 
weiseder-mittlere-Grauwert, die-Varianz~der-Grauwertverteilung r die-Kovarianzma- - 
trix der Grauwertverteilung, die Entropie, die Orientierung der Grauwertstruktur, 
mittlere Skalen der Struktur in verschiedenen Richtungen, die Variationsbreite der 
lokalen Orientierung, die Variationsbreite der raumlichen Skalen, die Reihenfolge 
und die Anordnung verschiedener Strukturelemente. 

Daruber hinaus, wiederum alternativ oder zusatzlich zu den oben beschriebenen 
Klassen werden in einer weiteren Ausfuhrungsform Bewegungsvektoren 
(Verschiebungsvektoren) als Klasse definiert. Derartige Bewegungsvektoren lassen 
sich durch differentialgeometrische Methoden (differentielle Verfahren), Korrelati- 
onsverfahren und Filterverfahren aus zwei aufeinanderfolgenden Abbildungen be- 
rechnen. Daruber hinaus ist es auch moglich, Bewegungsvektoren aus zwei Gabor- 
Jets zu berechnen. 




Neben den im Detail beschriebenen Ausfuhrungsformen sind, in Abhangigkeit 
von dem Anwendungsgebiet, d.h. von der Struktur, der Qualitat und der Komple- 
xitat des Inhalts der zu vergleichenden Bilddaten, eine Vielzahl von Kombinati- 
onsmoglichkeiten der oben beschriebenen Klassen moglich. So konnen insbe- 
sondere auch die Merkmale von lediglich einer der oben beschriebenen funf 
Klassen zum Vergleich verwendet werden. Es ist insbesondere auch moglich, 
dafi Merkmale, die aus Faltungen der Bilddaten mit einer ersten Filterklasse re- 
sultieren, die erste Klasse definieren, und Merkmale, die aus Faltungen der Bild- 
daten mit einer zweiten Filterklasse resultieren, die zweite Klasse definieren. 

Im folgenden wird beschrieben, wie eine Abbildung mit einer Referenzabbildung 
verglichen wird. Hierbei bezieht sich das Prafix "Vergleichs-" jeweils auf die auf- 
genommene Abbildung, in der die Struktur oder das Objekt erkannt werden soil. 

Zunachst muB eine Referenzabbildung in Form eines Graphen, d.h. in Form ei- 
nes Referenzgraphen, zur Verfugung gestellt werden. Dies kann beispielsweise 
durch Abrufen des Referenzgraphen aus einer zentralen Datenbank oder einer 
dezentralen~Datenbankrbeis^ietsweise von CffipKaften, gescfieherT 

Beim Erstellen der Datenbank wird dieser Referenzgraph G nach einem der oben 
beschriebenen Verfahren ermittelt. Im vorliegenden Fall wird demnach ein Gitter, 
wie es beispielsweise in Fig. 2 dargestellt ist, in die Referenzabbildung projiziert. 
An den Knotenpunkten des Gitters werden, wie ebenfalls bereits oben erlautert, 
die Jets ermittelt. Hierbei sollten die Jets der Referenzgraphen zumindest die 
Merkmalsklassen enthalten, die auch fur den Vergleichgraphen ermittelt werden 
sollen. 

Im nachsten Schritt projiziert man das Gitter der Referenzabbildung 
(Referenzgitter) in die Vergleichsabbildung und berechnet die diesem Gitter ent- 
sprechenden Jets fur das Vergleichsbild. Hierbei sind zumindest teilweise Filter- 



funktionen, d.h. dieselbe Klasse von Filterfunktionen, dieselben GroSen und/oder 
dieselben Orientierungen, mit denen der Referenzgraph erstellt wdrden ist, zu 
verwenden. Die derart berechneten Jets bilden zusammen mit der Struktur des 
projizierten Gitters schlieSlich den Vergleichsgraphen G\ 

Zur Projektion des Referenzgitters in die Vergleichsabbildung lassen sich in Ab- 
hangigkeit von den zu erwartenden Unterschieden zwischen Referenzabbildun- 
gen und Vergleichsabbildungen verschiedene Abbildungen einsetzen. 

Die einfachste Projektion, namlich eine Zentrierung des Referenzgitters in der 
Vergleichsabbildung, eignet sich beispielsweise, wenn Referenzabbildung und 
Vergleichsabbildung dieselbe GroSe und Position in bezug auf das Bildzentrum 
haben und unter demselben Winkel aufgenommen worden sind. 

Zu dieser einfachen Projektion konnen wahlweise die folgenden Projektionen 
ausgefuhrt werden. 

Eine Verschiebung des Referenzgitter in seiner Gesamtheit: 
Diese„Abbj^ — 
Vergleichsabbildung in bezug auf das Bildzentrum unterschiedlich sind. 

Eine Skalierung des Referenzgitters: 

Diese Abbildung kann vorgesehen werden, wenn die GroRen von Referenzabbil- 
dung und Vergleichsabbildung unterschiedlich sind. 

Eine Drehung des Referenzgitters: 

Ein Drehung laSt sich in dem Fall einsetzen, in dem Referenzabbildung und Ver- 
gleichsabbildung gegeneinander verdreht sind. 

Eine lokale Verzerrung des Referenzgitters: 



Bei dieser Abbildung werden jeweils einzelne Gitterpunkte gegenuber ihrer Posi- 
tion im Referenzgitter verschoben. Diese Abbildung eignet sich insbesondere, 
wenn zu erwarten ist, daG die Vergleichsabbildung gegeniiber der Referenzabbii- 
dung lokale Verzerrungen aufweist. 

Selbstverstandlich sind auch beliebige Kombinationen der oben beschriebenen 
Projektionen moglich. 

Die Bewertung der Ahnlichkeit beider Graphen, wird mittels einer Graphenver- 
gleichsfunktion durchgefuhrt, die folgende allgemeine Form aufweist: 

S = S Je , + A.S Metrik . (6) 

S Jet bezeichnet hierbei die Jetvergleichsfunktion, d.h. eine geeignete Funktion, 
wetche die Ahnlichkeit der Jets an korrespondierenden Punkten der beiden Gra- 
phen bewertet, und S Metrjk bezeichnet eine geeignete Funktion, welche die Ahn- 
lichkeit der Metrik der beiden Gitter miteinander vergleicht. S Metrik h§ngt hierbei 
stark von der verwendeten Projektion ab. 

X (X > 0) bezeichnet die Gewichtung der beiden Vergleichsfunktion zueinander. 
X kann auch gleich Null gesetzt werden; dies bedeutet, daG die Ahnlichkeit der 
Metrik der Graphen nicht berucksichtigt wird. Dieser Wert bietet sich insbesonde- 
re an, wenn lediglich Zentrierung oder Verschiebung als Projektion gewahlt wer- 
den, oder anders ausgedruckt, wenn die Topologie von Referenzgraph und Ver- 
gleichsgraph identisch ist. 

Zur Berechnung der Jetvergleichsfunktion S Jet sind zunachst die Vergleichsfunk- 
tionen der Teiljets fur die jeweiligen Klassen k zu berechnen. Im Fall der ersten 
Ausfuhrungsform, deren Merkmale aus einer Faltung der Bilddaten und der im 
Farbraum segmentierten Bilddaten mit Gabor-Filtem resultieren, w§re k = 2 . 



Zur Bewertung der Ahnlichkeit zweier korrespondierender Teiljets j k und j k * der 
Jets j bzw. j 1 des Referenzgraphen G bzw. des Vergleichsgraphen G\ wird eine 
Teiljetvergleichsfunktion verwendet, d.h. eine Funktion, die von den Amplituden 
aj und aj' der beiden Teiljets abhangt und die folgende Form hat: 



Z a i a ; 




(7) 



Die vorliegende Erfindung ist allerdings nicht auf diese Vergleichsfunktion be- 
schrankt, es kann auch eine phasenempfindliche Vergleichsfunktion eingesetzt 
werden, beispielsweise mit folgender Form: 



£ a j a;cos((|) j -<}>;- d-kj) 
^ S*(j te .jK , ) = J ^ ^ , , (8) 



wobei k| der Wellenvektor der entsprechenden Gabor-Filter ist und d ein ge- 
schatzter Verschiebungsvektor ist, der schnelle Phasenverschiebungen kompen- 
siert d wird dadurch bestimmt, dali in seiner Taylorentwicklung innerhalb ei- 

nes kleinen Quadrats, da(J in d = 0 zentriert ist, maximiert wird. Der Term d kj 

mit dem geschatzten Verschiebungsvektor d kompensiert schlieBlich schnelle 
Phasenverschiebungen aufgrund kleiner Variationen in den Positionen x und x' 
der zwei Jets, die miteinander verglichen werden. 



a^x) und (^(^ergeben sich hierbei aus Jj(x) = aj(x)exp(i<|>j(x)) . 



Aus den Teiljetvergleichsfunktionen fur die einander entsprechenden Teiljets, al- 
so fur die Merkmale einer Klasse, laSt sich eine Einzeljetvergleichsfunktion fur 
entsprechende einzelne Jets bilden: 

S(J,J) = Q({S k (j kl j k ')}). (9) 

In Abhangigkeit von der Anwendung lassen sich verschiedene Funktionen Q 
verwenden, beispielsweise 

"({S k <j k . j k ')}) = 5> k S k (j k , j k ') , Oder (10) 

k 

"({S k (j k ,j k ')}) = n(S k (j k .j k ')r,oder (11) 

k 

^({S k (j k ,j k ')}) = max{( 0k S k (j kI j k 1 )} (12) 
"({S k (j k , j k ' )}) = min{co k S k ( j k , j k ' )} ( 1 3 ) 



S k(Jk. Ik) sind hierbei die Teiljetvergleichsfunktionen, die sich gernaR der Glei- 
chungen (7) oder (8) berechnen lassen; o> k sind Wichtungskoeffizienten, die den 
Beitrag eines einzelnen Teiljets zu der Einzeljetvergleichsfunktion S(j, j') be- 
schreiben. 

Aus den Einzeljetvergleichsfunktionen fur die einzelnen Jets wird schlieSlich die 
Jetvergleichsfunktion S Jet fur alle entsprechenden Jets eines Referenzgraphen G 
und eines Vergleichsgraphen G" gebildet. Hierzu konnen ebenfalls in Abhangig- 
keit von der Anwendung verschiedene Funktionen eingesetzt werden. Beispiels- 
weise kann die Vergleichsfunktion fur n Jets gebildet werden nach: 



S Je «(G,G') = Xtt n S n (Jn.Jn').oder 

n 



(14) 
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S Jet (G,G') = n(S„(J„.J„ , )r- 05) 

n 

S n (J n , J n ') sind hierbei die Einzeljetvergleichsfunktionen, die sich gemaS der 
Gleichungen (10) bis (13) berechnen lassen; co n sind Wichtungskoeffizienten, die 
den Beitrag eines einzelnen Jets zu der Jetvergleichsfunktion S Jet beschreiben. 

Als Funktion zum Vergleichen der Metrik der beiden Graphen konnen beispiels- 
weise die Betrage der Differenzvektoren zweier einander entsprechender Links, 
d.h. der Verbindungen zweier einander entsprechender Knoten, aufsummiert 
werden; fur Graphen mit E Links, die mit Ax e bzw. Ax e * bezeichnet werden, er- 
gibt sich somit eine Metrikvergleichsfunktion: 

S M etri k (G.G') = lX( A ^-AX e ) 2 . (16) 



Welche derVergleichsfunktionen im Detail verwendet und insbesondere welcher 
Faktor fur X gewahlt wird, hangt im wesentlichen von der Struktur der Referenz- 
gra phen und der Ver gleichsgrapjieji^alsoJ,^ — 
gleichsabbildungen und der Referenzabbildungen, ab. 



Die Auswahl der geeigneten Vergleichsfunktion fur eine gegebene Struktur der 
Vergleichsabbildungen und der Referenzabbildungen kann hierbei durch Ver- 
gleichsversuche mit den Vergleichsabbildungen und den Referenzabbildungen 
ermittelt werden und liegt somit im Bereich des durchschnittlichen Konnens eines 
Fachmanns. 



Mit Hilfe der Graphenvergleichsfunktion (6) kann nun der Vergleichsgraph an den 
Referenzgraphen optimal angepalit werden. Hierzu wird die Projektion des Refe- 
renzgitters in die Vergleichsabbildung solange variiert, bis die Graphenver- 



gleichsfunktion einen optimalen Wert (im Fall der oben beschriebenen Ver- 
gleichsfunktionen ist dies ein Minimum) annimmt. 

Mit der Vergleichsabbildung lassen sich selbstverstandlich auch mehrere Refe- 
renzabbildungen vergleichen. 

Diese Referenzabbildungen konnen in Form einer Datenbank vorliegen. In die- 
sem Fall mussen dann allerdings bei jedem Vergleich die Referenzgraphen er- 
neut berechnet werden. 

ZweckmaSiger ist es deshalb, die Datenbank gleich in Form einer Referenzgraph- 
Datenbank vorzusehen, in denen die Referenzgitter mit ihren entsprechenden 
Jets gespeichert sind und lediglich abgerufen werden mussen. Allerdings ist eine 
solche Referenzgraph-Datenbank nicht so flexibel wie eine Referenzabbildungs- 
Datenbank, da diese fur jede Anderung bei der Berechnung der Jets neu kompi- 
liert werden muR. 

Zum Vergleich der Vergleichsabbildung mit einer beliebigen Anzahl von Refe- 

rmzatt>Mun^^ 

schriebenen Verfahren die optimale Anpassung an jede Referenzabbildung und 
die Graphenvergleichsfunktion far diese optimale Anpassung. 

Aufgrund eines Vergleichs der Graphenvergleichsfunktionen, die jeweils den be- 
sten Anpassungen der Referenzabbildungen an die Vergleichsabbildung entspre- 
chen, kann die Referenzabbildung ermittelt werden, welche die groSte Ahnlichkeit 
mit der Vergleichsabbildung aufweist. 

Daruber hinaus kann durch Auswertung der Graphenvergleichsfunktionen fur alle 
Referenzabbildungen ein Mali der Signifikanz der Ahnlichkeit ermittelt werden. 
Hierzu lassen sich, entsprechend dem erforderlichen Grad an Ahnlichkeit, ver- 
schiedene Definitionen fur eine signifikante Erkennung verwenden. 



2$ 



Beispielsweise konnen aus alien Graphenvergleichsfunktionen fur die nicht opti- 
malen Referenzgraphen der Mittelwert S und die Varianz a s gebildet werden. 
Eine signifikante Ahnlichkeit konnte dann angenommen werden, wenn 

^^>s (17) 



oder 



S ° pt S2 >s (18) 



erfiillt ist, wobei s ein fest gewahlter Parameter ist und S 2 der zweitkleinste Wert 
aller Graphenvergleichsfunktionen ist. 



In Fig. 4 ist eine weitere Ausfuhrungsform der vdrliegenden Erfindung dargestellt. 

Diese Ausfuhrungsform unterscheidet sich von den bisher beschriebenen Ausfuh 
rungsformen durch den Aufbau der Referenzgraphen, die mit dem Vergleichsgra- 
phen verglichen werden. 



Wahrend in den bisher beschriebenen Ausfuhrungsformen ein Referenzgraph 
aus einer einzelnen Referenzabbildung erstellt worden ist, resultiert in dieser 
Ausfuhrungsform ein Referenzbundelgraph aus mehreren Referenzabbildungen. 

Hierzu werden aus M Abbildungen M Modellgraphen erstellt, die in einem soge- 
nannten Referenzbundelgraph zusammengefaSt werden. 

Alle M Modellgraphen haben qualitativ dieselbe Struktur, d.h. sie haben jeweils 
N Knoten, die durch ein vorbestimmtes Gitter miteinander verbunden sind. Hier- 
bei ist es allerdings zulassig, dali die Langen zweier einander entsprechender 
Links unterschiedlich sind. Es ist demnach lediglich topologische Identitat der 



Modellgraphen gefordert. Die Struktur des Gitters kann eine regulare Form, wie 
hier gezeigt, Oder ein irregulare Form aufweisen. 

Insbesondere konnen demnach die in den zuvor diskutierten Ausfuhrungsformen 
eingesetzten Gitter, also ein regulares nxm-Gitter oder ein irregulares objektan- 
gepalites Gitter, verwendet werden. 

Neben den Langen zweier entsprechender Links unterscheiden sich auSerdem 
die einander entsprechenden Jets der M Modellgraphen. 

Die M Modellgraphen werden schlie&lich, wie im folgenden erlautert, zu einem 
Bundelgraphen zusammengefafct. 

Zuerst werden die mittleren Entfernungsvektoren Ay zwischen den Knoten i und 
j in dem Bundelgraphen ermittelt durch: 

A, " jjjt* ■ (19) 



wobei A™ der Entfernungsvektor zwischen den Knoten i und j in dem Modell- 
graphen m ist. 

Diese Entfernungsvektoren bestimmen nun die Struktur des Bundelgraphen, die 
zum Vergleich schlieSlich im folgenden in die Vergleichsabbildung projiziert wird. 

Den Knoten des BQndelgraphen werden auSerdem noch Biindeljets der M Mo- 
dellgraphen zugewiesen. Diese Bundeljets umfassen alle Teiljets, die bei der je- 
weiligen Erstellung der Referenzgraphen ermittelt worden sind. Demnach umfaBt 
ein Jet des Bundelgraphen die M einander entsprechenden Jets der M Modell- 
graphen. Anders ausgedruckt, ist ein Jet des Referenzbundelgraphen aus den 
Teiljets, die jeweils den Teiljets der Modellgraphen entsprechen, aufgebaut. 
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Die derart erhaltenen Struktur ist in Fig. 4 schematisch dargestellt. Mit G, G M 

sind hierin die M Modellgraphen bezeichnet, die zu dem Bundelgraphen B M 40 
zusammengefaSt sind. 

Zur Durchfuhrung des Vergleichs werden die Bundeljets Teilbundeljets zugeord- 
net. Als Zuordnungskriterium lassen sich beispielsweise die Merkmalsklassen, die 
Referenzabbildungen Oder Mischformen der beiden einsetzen. Bei einer Zuord- 
nung nach Merkmalsklassen, umfassen die Teilbundeljets lediglich die Merkmale 
einer einzigen Merkmalsklasse. 

Zum Vergleich eines auf diese Weise erhaltenen derart erhaltenen Bundelgra- 
phen B M 40 mit einem aus einer Abbildung 42 resultierenden Vergleichsgraphen 
G' 45 wird gemafc dieser Ausfuhrungsform eine zu Gleichung (6) analoge Bun- 
delgraphenvergleichsfunktion verwendet. 

Die Jetvergleichsfunktion S Jet wird hierbei, wie im folgenden ausgefuhrt wird, be- 
stimmt. 

Zuerst wird eine Vergleichsfunktion zwischen einem Teiljets j'der Abbildung und 
den entsprechenden Teilbundeljets b M ermittelt. Hierbei konnen beispielsweise 
die folgenden, zu Gleichungen (10) bis (13) analogen Gleichungen verwendet 
werden: 



S(b^j') = £co n S n (in. D.oder (20) 

n 

S(b M I j , ) = n(Sn(jn.j')r.oder (21) 

n 

S(b M ,j , ) = max{co n S n (jn.j , )}. Oder (22) 

S(b M ,j') = min{co n S n (j^r)}. (23) 



• 
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j' ist hierbei ein Teiljet der Abbildung und jjf der entsprechende Teilbundeljet; die 
S n (jn » J 1 ) bestimmen sich beispielsweise nach Gleichung (7) oder (8). 

Die Vergleiche der Teiljets mit denTeilbundeljets stehen mit der Vergleichsfuntion 
fur den Jet J mit dem Bundelgraphen B M in funktionalem Zusammenhang Q: 

S(B M ,J') = Q({S kl (br,j/)})=:Q(M). (24) 
Die Funktion Q kann hierbei nach folgender Rekursion ermittelt werden; 
n (0 >(M) = £©,nP(M< 1) ) , oder 

i 

n (0) (M) = n("r ) (Mr ) )) <0, ,oder 

i 

Q (0) (M) = maxjajiQf^MP')} , oder 
Q (0) (M) = min^O^M™)} , wobei (JM< 1) = M, und 



(29) 
(30) 
(31) 

M[ m - 1) . (32) 

Die Rekursion kann, in Abhangigkeit von der Anwendung solange durchgefuhrt 
werden, bis fur M (m) die folgende Bedingung erfullt ist: 



(25) 

(26) 

(27) 
(28) 



Q[ m - 1) (M[ m - 1) ) = £a> j Qj n,, (Mj m) ) , oder 

j 

Q[ m - 1) (M[ 1) ) = n("! m) (MP)) < °' , Oder 

j 

Q (m-1) (M (m-1) ) = (m) (M jm> } J ^ odef 

Q< m - 1) (M| m - 1) ) =min{o> j Qj m) (M< m) )} , wobei [JM™ = 



|M (m) | = 1. 



Aus den Vergleichsfunktionen fur den Jet J mit dem Bundelgraphen B M fur die 
einzelnen Jets wird schlieBlich die Jetvergleichsfunktion S Jet fur alle entspre- 

chenden Jets eines ReferenzbundelgraphenB M und eines Vergleichsgraphen G* 
gebildet. Hierzu konnen ebenfalls in Abhangigkeit von der Anwendung verschie- 
dene Funktionen eingesetzt werden. Beispielsweise kann die Vergleichsfunktion 
fur n Knoten gebildet werden nach: 

(33) 
(34) 

Diese Vergleichsfunktion kann zur Ermittlung der Graphenvergleichsfunktion 
schlieSlich in Gleichung (6) eingesetzt werden. 

In Worten ausgedruckt, werden bei dem Vergleich des Bundelgraphen B M mit ei- 
nem Vergleichs gra phen G also die Jets mit der ma ximalen Ahnlichkeit-aus-dem— 
Bundelgraphen ausgewahlt. 

In Fig. 4 ist diese Tatsache dadurch dargestellt, dafi Pfeile, die von dem entspre- 
chenden Knoten des Vergleichsgraphen G ausgehen, an verschiedenen Modell- 
graphen enden. 

Neben der oben angegebenen Bundelgraphenvergleichsfunktion lassen sich 
auch andere geeignete Vergleichsfunktionen einsetzen. 

Wie bei einem Vergleich mit einem einzelnen Referenzgraphen, wird auch im Fall 
eines Bundelgraphen dieser zuerst in die Abbildung des Vergleichsgraphen proji- 



S Jet (B M ( G) = X«nS n (B^J n , ).oder 

n 

S Jet (B M ,G t ) = n(S„(B^.J n ')r. 

n 



ziert, und anschlieSend wird die optimale Projektion durch Auswertung der Bun- 
delgraphenvergleichsfunktion bestimmt. 



Da ein Bundelgraph wie ein einzelner Graph behandelt werden kann, ist es auch 
moglich, mehrere Referenzbundelgraphen, einen Referenzbundelgraphen und 
einen Oder mehrere Referenzgraphen in einer Datenbank, mit der die Vergleichs- 
graphen verglichen werden sollen, zusammenzufassen. 



Unter Bezugnahme auf Fig. 4 und Fig. 5 wird im folgenden ein konkretes Beispiel 
einer Handstellungserkennung vor komplexem Hintergrund gemaS dem zuvor 
beschriebenen Verfahren, in dem Merkmale, die aus einer Faltung der Bilddaten 
mit Gabor-Filtern (Gabor-Merkmale), einer Faltung farbsegmentierter Bilddaten 
mit Gaborfiltern (Farbgabor-Merkmale) und aus der HSI-lnformation (HSI- 
Merkmal) resultieren, verwendet werden. Dieses Beispiel wird mit einem Erken- 
nungsverfahren verglichen, in dem jeweils nur eine einzelne Klasse berucksichtigt 
ist, d.h. die entsprechenden Wichtungskoeffizienten co k sind gleich Null. 

In Fig. 5 sind die representative Referenzabbildungen dargestellt, aus denen 
nach dem oben beschriebenen Verfahren Referenz gra phen erste llt worden sind. 
Jeder Referenzgraph umfa&t 15 Knoten und 20 Links bzw. Verbindungen. Die 
4^^^ Knoten wurden manuell an anatomisch signifikanten Punkten verteilt. 

In Fig. 6 sind verschiedene Beispiefe einer Handstellung vor verschiedenen Hin- 
tergrunden dargestellt. Insgesamt wurden 29 Hintergrunde verwendet, von denen 
fQnf ein hohes MaB an Hautfarbe, elf ein mittleres MaS an Hautfarbe und acht ein 
geringes MaS an Hautfarbe enthielten. 

Mit diesen Hintergrunden wurden 1000 verschiedene Vergleichsgraphen erstellt. 

Aus den Referenzdaten wurden 18 Referenzgraphen fur jede der in Fig. 5 darge- 
stellten Handstellungen ermittelt, die Gabor-Merkmale oder Farbgabor-Merkmale 




• o o oo ooffo 00 0 

o + o o a o a o\fl^^> o a 

•5a 00 000 000 o 

o 000 o 00000 

0 00000 000 

o o 00 o 00000 o 

Oder HSI-lnformation enthalten haben. Fur die Faltung wurden Gabor-Filter mit 
drei verschiedenen GroBen und acht verschiedenen Richtungen verwendet. 

Aus den jeweils 18 Referenzgraphen wurden drei Bundelgraphen mit jeweils 
sechs Modellen gebildet. Als Kriterium fur die Zuordnung der Teiljets zu den Re- 
ferenzgraphen wurden die Merkmale der Teiljets verwendet. Demnach enthielt 
der erste Referenzbundelgraph alle Gabor-Merkmale, der zweite Referenzbun- 
delgraph alle Farbgabor-Merkmale und derdritte Referenzbundelgraph alle HSI- 
Merkmate. 

Bei der Projektion der Referenzbundelgraphen wurde eine Drehung bis zu 15°, 
eine Skalierung von bis zu 20% und eine lokale Verzerrung um maximal ein Pixel 
zugelassen. 

Die Graphenvergleichsfunktion wurde mittels der Gleichungen (6; X = 0), (33; mit 
gleichen co n ), (24), (25; mit co Gabor = 0,25 ,co Fart)aabor = 0,25 ,co HS( = 0.5 ), (33; mit glei- 

chen co n ), (8) fur die Gabor- und Farbgabor-Merkmale und einem gewichteten 
euklid'schen Abstand fur die HSI-Farbinformation berechnet. 



Die Ergebnisse des Vergleichs der 1000 Vergleichsabbildungen ist in folgender 
Tabelle zusammengefaSt: 



Gewichtung 
nur GaborMerkmale 
nur FarbgaborMerkmale 
nur HSIMerkmale 
optimale Wichtung 



einfacher Hintergrund 
82,6% 
39,7% 
88,2% 
92,9% 



komplexer Hintergrund 
70,4% 
34,6% 
76,3% 
85,8% 



PATENTANSPRUCHE 




1 . Ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in 
digitaiisierten Bilddaten, umfassend die Schritte: 

Zurverfugungstellen wenigstens eines Referenzgraphen aus digitaiisierten 
Referenzbilddaten entsprechender Referenzbilder, wobei der oder jeder Refe- 
renzgraph umfaBt: 

eine netzartige Struktur, die jeweils dadurch definiert wird, daS bestimmten / 
Referenzbilddaten Knoten, die durch Links in vorbestimmter Weise mitein- 
ander verbunden sind, zugewiesen werden, und 

Jets, wobei jedem Knoten ein Jet zugeordnet ist und jeder Jet wenigstens 
einen Teiljet umfaBt, der durch Faltungen wenigstens einer Klasse von 
Filterfunktionen mit verschiedenen GroSen und/odepOrientierungen mit den 
Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten 

Knoten pier durch Faltungen wenigstens einer Klasse von Filterfunktionen 

mit verschiedenen GrSfien und/oder Orientierungen mit farbsegmentierten 
Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten 
Knoten oder durch Farbinformation uber die Referenzbilddaten an dem be- 
stimmten Knoten oder durch mit statistischen Verfahren gewonnenen Tex- 
turbeschreibungen des entsprechenden Referenzbildes an dem bestimmten 
Knoten oder durch aus zeitlich aufeinanderfolgenden Referenzbildern extra- 
hierten Bewegungsvektoren an dem bestimmten Knoten ermittelt wird j 

Ermitteln eines optimalen Bildgraphen aus den digitaiisierten Bilddaten fur je- 
den Referenzgraphen, wobei der optimale Bildgraph fur einen bestimmten 
Referenzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird 
durch: 
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Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in die 
Bilddaten, wodurch die Struktur des Bildgraphen definiert wird, und 

Ermitteln von Teiljets des Bildgraphen an den durch seine Struktur definier- 
ten Knoten, wobei die Teiljets mindestens einem Teil der ermittelten Teiljets 
des bestimmten Referenzgraphen entsprechen t und wobei 

die Projektion der netzartigen Struktur des bestimmten Referenzgraphen, so 
lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des 
Bildgraphen mit den entsprechenden Jets des bestimmten Referenzgraphen 
vergleicht, optimal wird, 

Zuordnen der oder jeder Struktur zu dem Referenzbild, das dem Referenzgra- 
phen entspricht, fur den die Graphenvergleichsfunktion in Bezug auf den fur 
ihn ermittelten optimalen Bildgraphen optimal ist. 

Das Verfahren in Anspruch 1, in welchem weiterhin 



mehrere Referenzgraphen zur Verfugung gestellt werden, und 

die Referenzgraphen, welche netzartige Strukturen aufweisen, die topologisch 
identisch sind, zu einem Referenzbundelgraphen zusammengefaBt werden, 
wobei der Referenzbundelgraph umfaBt: 

eine netzartige Struktur, die durch Knoten, welche den Knoten der Refe- 
renzgraphen entsprechen, und durch Links, die durch Mittelung der entspre- 
chenden Links der Referenzgraphen ermittelt werden, definiert wird, und 
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Bundeljets, wobei jeder Bundeljet aus den Teiljets, die den Teiljets an den 
jeweiligen Knoten der in dem Referenzbundelgraphen zusammengefa&ten 
Referenzgraphen entsprechen, zusammengesetzt wird; 

und 

ein optimaler Bildgraph fur den oder jeden Referenzbundelgraphen ermittelt 
wird, wobei der optimale Bildgraph fur einen bestimmten Referenzbundelgra- 
phen die optimale Anpassung an diesen darstellt und ermittelt wird durch: 

Projizieren der netzartigen Struktur des bestimmten Referenzbundelgraphen 
in die Bilddaten, wodurch die Struktur des Bildgraphen definiert wird, und 

Ermitteln von Teiljets, die mindestens einem Teil der Teiljets entsprechen, 
die zur Ermittlung der Teiljets der dem bestimmten Referenzbundelgraphen 
zugrunde liegenden Referenzgraphen verwendet worden sind, und wobei 

die Projektion der netzartigen Struktur des bestimmten Referenzbundelgra- 

ph en, so lange variiert wird . bis eine G raphenvergleichsfunktinn, w^lr.h^ r]\* 

Jets des Bildgraphen mit den entsprechenden Bundeljets des bestimmten 
Referenzbundelgraphen vergleicht, optimal wird, wobei jeder Teiljet des 
Bildgraphen mit den Teiljets in dem entsprechenden Bundeljet des be- 
stimmten Referenzbundelgraphen verglichen wird; 

und in welchem schlie&lich 

jede Struktur dem Referenzbild zugeordnet wird, das dem Referenzgraphen 
bzw. dem Referenzgraphen aus dem oder den Referenzbundelgraphen ent- 
spricht, ftir den die Graphenvergleichsfunktion in Bezug auf den fur ihn ermit- 
telten optimalen Bildgraphen optimal ist. 
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Das Verfahren nach Anspruch 2, in welchen lediglich ein Teil cler zur Verfu- 
gung gestellten Referenzgraphen zu einem oder zu mehreren Referenzbun- 
delgraphen zusammengefaRt wird. 

Das Verfahren nach Anspruch 2, in welchem alle zur Verfugung gestellten 
Referenzgraphen zu einem oder zu mehreren Referenzbundelgraphen zu- 
sammengefaSt werden. 

Das Verfahren nach einem der vorangegangenen Anspruche, in welchem die 
Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, 
vom jeweiligen Knoten abhangig ist. 

Das Verfahren nach einem der Anspruche 1 bis 4, in welchem die Struktur der 
den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, fur alle 
Kn o ten i dentischjst 

Das Verfahren nach einem der vorangegangenen Anspruche, in welchem eine 
Graphenvergleichsfunktion verwendet wird, die eine Jetvergleichsfunktion um- 
faSt, welche die Ahnlichkeit der einander entsprechenden Jets berucksichtigt. 

Das Verfahren nach Anspruch 7, in welchem die Graphenvergleichsfunktion 
weiterhin eine Vergleichsfunktion fur die netzartige Struktur umfafit, welche die 
metrische Ahnlichkeit des Bildgraphen mit dem entsprechenden Referenzgra- 
phen bzw. dem entsprechenden Referenzbundelgraphen berucksichtigt. 
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9. Das Verfahren nach Anspruch 8, in welchem die Graphenvergleichsfunktion 
als gewichtete Summe der Jetvergleichsfunktion und der Vergleichsfunktion fur 
die netzartige Struktur definiert wird. 

10. Das Verfahren nach einem der Anspruche 7 bis 9, in welchem die Jetver- 
gleichsfunktion als Funktion von Einzeljetvergleichsfunktionen einander ent- 
sprechender Jets definiert wird. 

1 1 . Das Verfahren nach Anspruch 10, in welchem die Jetvergleichsfunktion als 
gewichtete Summe aus den Einzeljetvergleichsfunktionen und/oder als ge- 
wichtetes Produkt aus den Einzeljetvergleichsfunktionen definiert wird. 

12. Das Verfahren nach Anspruch 10 oder 1 1 , in welchem zur Ermittlung eines 
Einzeljetvergleichs Teiljets der entsprechenden Jets berucksichtigt werden, 

un<deine_Einzeljetv_e 

nen definiert ist. 

13. Das Verfahren nach Anspruch 12, in welchem die Einzeljetvergleichsfunktio- 
nen als gewichtete Summe der Teiljetvergleichsfunktionen und/oder als ge- 
wichtetes Produkt der Teiljetvergleichsfunktionen und/oder als Extremalwert 
der Teiljetvergleichsfunktionen definiert sind. 

14. Das Verfahren nach einem der Anspruche 7 bis 13, in welchem unterschiedli- 
che, knotenabhangige Jetvergleichsfunktionen bzw. Einzeljetvergleichsfunktio- 
nen bzw. Teiljetvergleichsfunktionen verwendet werden. 
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Das Verfahren nach einem der Anspriiche 7 bis 9 in Verbindung mit Anspruch 
2, in welchem die Bundeljets des Referenzbundelgraphen B M in Teilbundeljets 
b^ 1 geteilt werden, und die Jetvergleichsfunktion zwischen den Teilbundeljets 
b^ des Referenzbundelgraphen und den entsprechenden Teiljets j/ des Bild- 
graphen G* fur n Knoten fur m Rekursionen gemaB folgender Formeln berech- 
net wird: 

S Jet (B M ,G') = X<OnS n (B^,J n , ),oder 

n 

S Jet (B M ,G') = Il( S n(Bn . J„')r ■ wobei 

n 

ca n ein Wichtungsfaktor fur den n-ten Knoten n ist und die Vergleichsfunktion 
S n (Bn,J n ') fur den n-ten Knoten des Referenzbundelgraphen mitdem n-ten 
Knoten des Bildgraphen gegeben ist durch: 

S(B^)-=q(^ 

n <0) (M) = £ © * Q i 1> < M i 1) ) • oder 

i 

Q( 0 )(M) = n(aP ) (M[ 1) )) <0, ,oder 

i 

Q (0) (M) = maxJcOjQ^M™)} , oder 

Q (0) (M) = minJctt^CM} 1 ')} , wobei (JM[ 1) = M 



Q[ m - 1) (M[ m - 1) ) = X© j Q ( j m) (M! m) ) , Oder 
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Q[ m " i> (M[ i) ) = n( Q j m) ( M ! m, )r i . ° der 

Q[ m - 1) (M< m - 1) ) = max{a)j m) (M! m) )} , oder 

Q i (m - 1) (M[ m - 1) ) = m.in{o> j fii m) (Mj m) )} , wobei \JM™ = Mf m - 1) und mit 
1 j 

S(b M .j') = Xa>nS n (Cj , ),oder 

n 

S(b M ,j , ) = n(S n (Cj , )r»,oder 

n 

S(b M i n = max{o) n S n (j^j')} ( oder 
S(b^n = min{o3 n S n (ir.i , )}. 

16. Das Verfahren nach Anspruch 15, in welchem die Teilbundeljets des oder der 
Referenzbundelgraphen nur Merkmale enthalten, die durch Faltungen wenig- 
stens einer Klasse von Filterfunktionen mit verschiedenen GroSen und/oder 
Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes 
an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von 

Filterfunktionen-mit-verschiedenen-GrolSen-und/oder-Orientierungen mit -farb- — 

segmentierten Referenzbilddaten des entsprechenden Referenzbildes an dem 
bestimmten Knoten oder durch Farbinformation uber die Referenzbilddaten an 
dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen 
Texturbeschreibungen des entsprechenden Referenzbildes an dem bestimm- 
ten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenzbildern ex- 
trahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt worden 
sind. 

17. Das Verfahren nach Anspruch 15, in welchem die Teilbundeljets des oder der 
Referenzbundelgraphen nur Merkmale enthalten, die aus einem Referenzgra- 
phen resultieren. 



18. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem nach 
dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Er- 
kennens vorgesehen ist. 

19. Das Verfahren nach Anspruch 18, in welchem zur Ermittlung der Signifikanz 
ein Schatzer verwendet wird, der sowohl die optimale Graphenvergleichsfunk- 
tion als auch die nicht optimalen Graphenvergleichsfunktionen berucksichtigt. 

20. Das Verfahren nach Anspruch 19, in welchem der Abstand der Werte der nicht 
optimalen Graphenvergleichsfunktionen von dem Wert der optimalen Gra- 
phenvergleichsfunktion als Schatzer verwendet wird. 

21 . Das Verfahren nach einem der vorangegangenen Anspruche, in welchem 
weiterhin-jede-Struktur^ 

renzgraphen bzw. den Referenzgraphen aus den Referenzbundelgraphen ent- 

sprechen, fur die die Werte der Graphenvergleichsfunktionen in einem vorbe- 

stimmten Bereich liegen. 

22. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem die 
Farbinformation aus den Referenzbilddaten bzw. den Bilddaten ermittelte 
Farbtonwerte und/oder Farbsattigungswerte und/oder Helligkeitswerte umfaBt. 

23. Das Verfahren nach einem der Anspruche 1 bis 22, in welchem der Schritt des 
Zurverfugungstellens der Referenzgraphen bzw. der Referenzbundelgraphen 



das Abrufen der Referenzgraphen bzw. der Referenzbiindelgraphen aus einer 
zentralen und/oder dezentralen Datenbank umfaBt. 



24. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem als 
netzartige Struktur des Referenzgraphen ein regelma&iges Gitter verwendet 
wird, dessen Knoten und Links rechtwinklige Maschen bilden. 




25. Das Verfahren nach einem der Anspruche 1 bis 23, in welchem als netzartige 
Struktur des Referenzgraphen ein unregelmaRiges Gitter verwendet wird, des- 
sen Knoten und Links an die zu erkennende Struktur angepaSt sind. 



26. Das Verfahren nach Anspruch 25, in welchem die Knoten charakteristischen 
Punkten, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet 
werden. 



27. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem als 
Klasse der Filterfunktionen zur Faltung mit den Referenzbilddaten bzw. Biid- 
daten Gabor-Filterfunktionen und/oder Mallat-Filterfunktionen verwendet wer- 
den. 

28. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem als 
Klasse der Filterfunktionen zur Faltung mit den farbsegmentierten Referenz- 
bilddaten bzw. Bilddaten Gabor-Filterfunktionen und/oder Mallat-Filterfunk- 
tionen verwendet werden. 
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29. Das Verfahren nach einem der vorangegangenen Anspruche, in welchem die 
Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des 
bestimmten Referenzbundelgraphen eine Zentrierung des Referenzgraphen 
bzw. des bestimmten Referenzbundelgraphen in der Abbildung umfaSt. 



30. Das Verfahren nach Anspruch 29, in welchem die Projektion der netzartigen 
Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbun- 
delgraphen eine Verschiebung und/oder Drehung des zentrierten Referenz- 
graphen bzw. des zentrierten Referenzbundelgraphen umfaBt. 



31. Das Verfahren nach Anspruch 29 oder 30, in welchem die Projektion der netz- 
artigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Refe- 
renzbundelgraphen eine Skalierung des zentrierten Referenzgraphen bzw. des 
zentrierten Referenzbundelgraphen umfaGt. 

32. D_asAferfahren_nach-Anspruch^ 

die Verschiebung und die Skalierung und die Drehung des zentrierten Refe- 
renzgraphen bzw. des zentrierten Referenzbundelgraphen simultan durchge- 
fuhrtwerden. 

33. Das Verfahren nach einem der Anspruche 29 bis 32, in welchem die Projektion 
der netzartigen Struktur lokale Verzerrungen des zentrierten Referenzgraphen 
umfaSt. 




34. Das Verfahren nach Anspruch 33, in welchem eine lokale Verzerrung durch 
lokale Verschiebung eines entsprechenden Knoten des zentrierten Referenz- 
graphen bewirkt wird. 



35. Das Verfahren nach einem der Anspruche 30 bis 34, in welchem die Verschie- 
bung bzw. die Skalierung bzw. die Drehung aus dem Vergleich des Bildgra- 
phen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden 
Referenzbundelgraphen ermittelt wird. 



Zusammenfassung 



Die Erfindung betrifft ein Verfahren zum automatisierten Erkennen einer oder meh- 
rerer Strukturen in digitalisierten Bilddaten. Das erfindungsgema&e Verfahren um- 
faSt die Schritte (a) Zurverfugungstellen wenigstens eines Referenzgraphen aus 
digitalisierten Referenzbilddaten entsprechender Referenzbilder, wobei der oder 
jeder Referenzgraph eine netzartige Struktur, die jeweils dadurch definiert wird, dali 
bestimmten Referenzbilddaten Knoten, die durch Links in vorbestimmter Weise mit- 
einander verbunden sind, zugewiesen werden, und Jets, wobei jedem Knoten ein 
Jet zugeordnet istund jeder Jet wenigstens einen Teiljet umfa&t, der durch Faltun- 
gen wenigstens einer Klasse von Filterfunktionen mit verschiedenen GroSen 
und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenz- 
bildes an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse 
von Filterfunktionen mit verschiedenen GroBen und/oder Orientierungen mit farb- 
segmentierten Referenzbilddaten des entsprechenden Referenzbildes an dem be- 
stimmten Knoten oder durch Farbinformation uberdie Referenzbilddaten an dem 
bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbe- 
schreibungen des entsprechenden Referenzbildes an dem bestimmten Knoten oder 
durch aus zeitlich aufeinanderfolgenden Referenzbildern extrahierten Bewegungs- 

vektoren an dem bestimmten Knoten ermit telt wir_d.JbXErmitteln-eines-optimalen 

Bildgraphen aus den digitalisierten Bilddaten fur jeden Referenzgraphen, wobei der 
optimale Bildgraph fur einen bestimmten Referenzgraphen die optimale Anpassung 
an diesen darstellt und ermittelt wird durch: Projizieren der netzartigen Struktur des 
bestimmten Referenzgraphen in die Bilddaten, wodurch die Struktur des Bildgra- 
phen definiert wird, und Ermitteln von Teiljets des Bildgraphen an den durch seine 
Struktur definierten Knoten, wobei die Teiljets mindestens einem Teil der ermittelten 
Teiljets des bestimmten Referenzgraphen entsprechen, und wobei die Projektion 
der netzartigen Struktur des bestimmten Referenzgraphen, so lange variiert wird, bis 
eine Graphenvergleichsfunktion, welche die Jets des Bildgraphen mit den entspre- 
chenden Jets des bestimmten Referenzgraphen vergleicht, optimal wird, und (c) 
Zuordnen der oder jeder Struktur zu dem Referenzbild, das dem Referenzgraphen 
entspricht, fur den die Graphenvergleichsfunktion in Bezug auf den fur ihn ermittel- 
ten optimalen Bildgraphen optimal ist. 
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